最近的统计有限元方法(STATFEM)提供了一种相干统计框架,用于用观察到的数据合成有限元模型。通过嵌入控制方程内的不确定性,更新有限元解决方案以提供后部分布,该分布量化与模型相关的所有不确定性源。然而,为了纳入所有不确定性来源,必须整合与模型参数相关的不确定性,该不确定量的已知前向问题。在本文中,我们利用Langevin动力学来解决统计信息前进问题,研究了不调整的Langevin算法(ULA)的效用,是一种无马达罗夫的马尔可夫链蒙特卡罗采样器,以构建基于样品的特征,否则难以置化措施。由于STATFEM问题的结构,这些方法能够解决不明确的全PDE解决的前向问题,只需要稀疏的矩阵矢量产品。 ULA也是基于梯度的,因此提供了可扩展的方法,达到了高度自由度。利用基于Langevin的采样器背后的理论,我们提供了对采样器性能的理论保证,展示了在克洛拉 - 莱布勒分歧的先前和后后的收敛性,以及在Wassersein-2中,进一步得到了预处理的影响。对于先前和后部,还提供了数值实验,以证明采样器的功效,并且还包括Python封装。
translated by 谷歌翻译
我们提出了一类新的Langevin基础算法,它克服了当前用于深度学习模型的微调的流行自适应优化器的许多已知缺点。其支撑性理论依赖于欧拉多面近似对随机微分方程(SDES)的多边形近似的进步。结果,它继承了授权算法的稳定性属性,而它讨论了其他已知问题,例如,涉及其他已知问题。在神经网络中消失梯度。特别是,我们为这部小型课程的算法的融合性能提供了令人反感的分析和完全理论上,我们将其命名为$ \ varepsilon $ o poula(或简单地,opopoura)。最后,有几种实验呈现出不同类型的深度学习模型,其展示了opopoula在许多流行的自适应优化算法上的优越性。
translated by 谷歌翻译
人工神经网络(ANNS)通常是高度非线性系统,其通过优化其相关的非凸损函数精细调整。在许多情况下,任何这种损失函数的梯度具有超线性生长,利用广泛接受的(随机)梯度下降方法,其基于欧拉数值方案,有问题。我们提供了一种基于受欢迎的随机梯度Langevin Dynamics(SGLD)的适当构造的变体的新学习算法,该算法被称为不调整的随机的随机Langevin算法(Tusla)。我们还提供了对新算法在非凸起学习问题的环境中对新算法的融合性质进行了巨大分析。因此,我们为Tusla提供有限时间担保,以查找经验和人口风险的大致减少体。 TUSLA算法的根源基于\ CiteT {TARE-EULER,SABANISAOAP}和MCMC算法中开发的超连线系数的扩散过程的驯化技术。提出了数值实验,该实验证实了理论发现,并说明了与ANNS框架内的Vanilla SGLD相比使用新算法。
translated by 谷歌翻译
Generalization is an important attribute of machine learning models, particularly for those that are to be deployed in a medical context, where unreliable predictions can have real world consequences. While the failure of models to generalize across datasets is typically attributed to a mismatch in the data distributions, performance gaps are often a consequence of biases in the 'ground-truth' label annotations. This is particularly important in the context of medical image segmentation of pathological structures (e.g. lesions), where the annotation process is much more subjective, and affected by a number underlying factors, including the annotation protocol, rater education/experience, and clinical aims, among others. In this paper, we show that modeling annotation biases, rather than ignoring them, poses a promising way of accounting for differences in annotation style across datasets. To this end, we propose a generalized conditioning framework to (1) learn and account for different annotation styles across multiple datasets using a single model, (2) identify similar annotation styles across different datasets in order to permit their effective aggregation, and (3) fine-tune a fully trained model to a new annotation style with just a few samples. Next, we present an image-conditioning approach to model annotation styles that correlate with specific image features, potentially enabling detection biases to be more easily identified.
translated by 谷歌翻译
受动物界(尤其是蚂蚁的导航行为)观察到的导航行为的启发,我们试图通过实施各种仿生算法来在人工环境中模拟它。
translated by 谷歌翻译
学习分解的表示形式需要监督或引入特定模型设计和学习限制作为偏见。Infogan是一个流行的分离框架,通过最大化潜在表示及其相应生成的图像之间的相互信息来学习无监督的分解表示形式。通过引入辅助网络和潜在回归损失的培训来实现共同信息的最大化。在这篇简短的探索性论文中,我们研究了希尔伯特 - 史密特独立标准(HSIC)的使用,以近似潜在表示和图像之间的相互信息,称为HSIC-INFOGAN。直接优化HSIC损失可以避免需要额外的辅助网络。我们定性地比较了每个模型中的分离水平,提出了一种调整HSIC-INFOGAN超参数的策略,并讨论了HSIC-INFOGAN在医疗应用中的潜力。
translated by 谷歌翻译
发现预测未来疾病结果的患者特定成像标记可以帮助我们更好地了解疾病进化的个体水平异质性。实际上,可以在医学实践中采用的可以提供数据驱动的个性化标记的深度学习模型。在这项工作中,我们证明了数据驱动的生物标志物发现可以通过反事实综合过程来实现。我们展示了如何使用深层的条件生成模型来扰动基线图像中的局部成像特征,这些图像与特定于受试者的未来疾病进化有关,并导致反事实图像有望具有不同的未来结果。因此,候选生物标志物是由于检查了此过程中受到干扰的一组功能而产生的。通过对大型多扫描仪多中心多发性硬化症(MS)临床试验磁共振成像(MRI)数据集(RRMS)患者数据集(RRMS)患者数据集进行的几项实验,我们证明我们的模型会产生反面的反面事件,并具有成像变化反映了建立的临床标记的特征,可预测人群水平的未来MRI病变活性。其他定性结果表明,我们的模型有可能发现未来活动的新颖和主题的预测标记。
translated by 谷歌翻译
这项工作通过考虑具有随机局部获奖者(LWTA)激活的深层网络来解决元学习(ML)。这种类型的网络单元导致每个模型层的稀疏表示形式,因为单元被组织成仅一个单元生成非零输出的块。引入单元的主要操作原理依赖于随机原理,因为网络对竞争单位进行后验采样以选择获胜者。因此,与当前标准的确定性表示范式相反,提出的网络是明确设计的,以提取稀疏随机性的输入数据表示。我们的方法在几乎没有图像分类和回归实验上产生了最新的预测精度,并在主动学习设置上降低了预测误差;这些改进的计算成本大大降低。
translated by 谷歌翻译
由于成本限制,减少医学图像分割中密集注释的面具的需求很重要。在本文中,我们考虑仅通过使用图像级标签进行训练来推断脑病变的像素级预测的问题。通过利用生成扩散概率模型(DPM)的最新进展,我们综合了“如果不存在X病理学,患者将如何出现?”。观察到的患者状态与健康反事实之间的差异图像可用于推断病理位置。我们产生的反事实是对应于输入的最小变化,以使其转化为健康域。这需要在DPM中使用健康和不健康的数据进行培训。我们通过通过隐式指导以及注意力条件而不是使用分类器来操纵生成过程来改善以前的反事实DPM。代码可在https://github.com/vios-s/diff-scm上找到。
translated by 谷歌翻译
数据保护法规中规定的权利允许患者要求数据持有人消除有关其信息的知识。随着AI在数据上学习的出现,人们可以想象,这种权利可以要求忘记AI模型中患者数据知识的要求。但是,忘记了来自AI模型的患者的成像数据仍然是一个爆炸案。在本文中,我们研究了患者数据对模型性能的影响,并为患者的数据提出了两个假设:他们是常见的,并且与其他患者相似,或者形成边缘病例,即独特的和罕见的病例。我们表明,不可能轻松地忘记患者数据。我们提出了一种有针对性的遗忘方法,以执行患者遗忘。基准自动化心脏诊断挑战数据集的广泛实验展示了所提出的目标遗忘方法的性能,而不是最先进的方法。
translated by 谷歌翻译